Библиотека собеса по Data Science | вопросы с собеседований

В чем отличие стохастического градиентного спуска от обычного?

Стандартный градиентный спуск (Gradient Descent) и стохастический градиентный спуск (Stochastic Gradient Descent или SGD) - это два важных метода оптимизации в машинном обучении. Они отличаются в том, как обновляют параметры модели в процессе обучения.

• Градиентный спуск обновляет параметры модели на основе градиента, вычисленного на всем обучающем наборе.
• Стохастический градиентный спуск (SGD) обновляет параметры, используя случайные образцы из обучающего набора, делая обучение быстрее, но более шумным.

www.tg-me.com/cn/Библиотека собеса по Data Science | вопросы с собеседований/com.ds_interview_lib/47

1.5K viewsSep 23, 2023 at 11:00

В чем отличие стохастического градиентного спуска от обычного?

Стандартный градиентный спуск (Gradient Descent) и стохастический градиентный спуск (Stochastic Gradient Descent или SGD) - это два важных метода оптимизации в машинном обучении. Они отличаются в том, как обновляют параметры модели в процессе обучения.

• Градиентный спуск обновляет параметры модели на основе градиента, вычисленного на всем обучающем наборе.
• Стохастический градиентный спуск (SGD) обновляет параметры, используя случайные образцы из обучающего набора, делая обучение быстрее, но более шумным.

BY Библиотека собеса по Data Science | вопросы с собеседований